Tự Đức đã sớm nghĩ đến việc xây lăng mộ cho mình ngay khi còn sống. Vốn là một người giỏi thi phú, ông đã chọn cho mình một nơi yên nghỉ xứng đáng với ngôi vị của mình, địa điểm được chọn để xây lăng trong một thung lũng hẹp thuộc làng Dương Xuân Thượng, tổng Cư Chánh.

Khi mới khởi công xây dựng, vua Tự Đức lấy tên Vạn Niên Cơ đặt tên cho công trình, với mong muốn được trường tồn. Tuy nhiên, do công việc sưu dịch xây lăng quá cực khổ, lại bị quan lại đánh đập tàn nhẫn, là nguồn gốc cuộc nổi loạn Chày Vôi của dân phu xây lăng.

Tương truyền, dân chúng ta thán:

Ngày 8-9 âm lịch năm Bính Dần (1866), tức năm Tự Đức thứ 19, do việc xây dựng Vạn niên cơ, quân sĩ và dân phu phải làm lụng khổ sở, có nhiều người oán giận. Nhân sự bất mãn đó, với lý do tôn phù Đinh Đạo (cháu ruột Tự Đức, nguyên tên là Ưng Đạo, do cha là An Phong công Hồng Bảo làm loạn nên phải đổi thành Đinh Đạo) lên ngôi vua, Đoàn Hữu Trưng cùng với các em là Đoàn Hữu Ái, Đoàn Tư Trực, cùng các đồng chí là Trương Trọng Hòa, Phạm Lương, Tôn Thất Cúc, Tôn Thất Giác, Bùi Văn Liệu, Nguyễn Văn Quí phát động khởi nghĩa. Những người tham gia khởi nghĩa phần đông là nhân công đang uất hận vì bị bắt lao dịch khắc nghiệt để xây dựng Vạn niên cơ. Họ dùng chầy vôi - dụng cụ lao động - làm vũ khí nên tục gọi là "giặc chày vôi". Tuy nhiên, cuộc đảo chính thất bại. Cả nhà Ưng Đạo đều bị hại. Đoàn Hữu Trưng và hai người em bị giết lúc mới 22 tuổi.

Tuy nhiên, do sự việc này, vua phải đổi tên Vạn niên cơ thành Khiêm Cung và viết bài biểu trần tình để tạ tội. Năm 1873, Khiêm Cung mới được hoàn thành, vua Tự Đức vẫn sống thêm 10 năm nữa rồi mới qua đời.